Недавно мы писали о том, что компания VMware выпустила новую превью-версию настольной платформы виртуализации VMware Workstation Tech Preview 20H1. Одновременно с этим было выпущено превью платформы и для Mac OS VMware Fusion Tech Preview 20H1, которое получило новую функциональность работы с контейнерами с кодовым названием Project Nautilus.

Подход к бета-версиям со стороны команд разработки Fusion и Workstation теперь несколько изменится - они будут выпускать обновления к Tech Preview в течение года, пока в итоге не получится финальный релиз. Обычно на это уходит несколько месяцев. Для Fusion сейчас это релиз TP20H1.

Также бинарники, документация и ассеты переезжают на GitHub, где теперь есть удобный портал для скачивания продукта и получения дополнительной информации.

Давайте взглянем на основные новые возможности Fusion 2020 года:

• Наконец-то была реализована функциональность Project Nautilus, которая позволяет запускать любые OCI-compliant контейнеры на маке. Сейчас работа с контейнерами Docker в Mac OS часто идет через боль, поэтому такое решение очень пригодится пользователям. Эта функциональность будет доступна бесплатно для пользователей VMware Fusion. Для управления контейнерами будет использоваться новая утилита vctl, которая использует наработки проектов runC, containerD, Cri-O и Kubernetes (более подробно описано здесь).

Для реализации среды управления контейнерами используется подход, аналогичный тому, что применен в Project Pacific - для запуска контейнеров в качестве гостевой ОС используется ультралегковесная Linux-система (PodVM, он же Native Pod), которая почти не дает накладных расходов на виртуализацию. Каждая PodVM с одним контейнером внутри получает свой IP-адрес от кастомной сети VMnet. При это для такой машины можно использовать bridged networking, абсолютно прозрачно работая с контейнером. Можно отдельно настроить и port forwarding, если это вам необходимо.

• Вторая возможность Fusion - это человеческая реализация работы с USB-устройствами хоста. Раньше была проблема с тем, что при установке продукта запрос разрешений для USB-устройств происходил позже завершения установки, что приводило к их неработоспособности (надо было переустанавливать продукт). Также подключение и отключение USB-девайсов часто глючило. Теперь же Fusion интегрирован в нативный USB-стек Apple на уровне ядра, что должно привести к тому, что работа Fusion с хостовыми устройствами USB будет стабильнее и быстрее. Скоро в специальном репозитории должны появиться материалы на эту тему.

Скачать VMware Fusion Tech Preview 20H1 по прямой ссылке можно отсюда. Портал со всеми материалами находится тут.

Для большинства ИТ-специалистов виртуализация ассоциируется с накладными расходами на ее содержание. Виртуальная машина имеет такие-то потери по CPU и столько-то издержки по оперативной памяти. Но иногда бывает и обратная ситуация - например, в статье про производительность контейнеров на платформе Project Pacific утверждается, что в виртуальных машинах они работают на 8% быстрее, чем на голом железе с Linux на борту.

Давайте посмотрим, почему это может быть так.

Сначала для тестирования взяли 2 идентичных аппаратных конфигурации (кластер из двух узлов), на одной из которых развернули гипервизор ESXi на платформе Project Pacific (там Kubernetes pods работают в виртуальных машинах), а на второй поставили Linux с Kubernetes pods (видимо, подразумевается Red Hat) с настройками из коробки, которые работают нативно:

VMware объясняет высокую производительность Project Pacific тем, что гипервизор воспринимает Pods как изолированные сущности, которые можно адресовать на CPU для наиболее подходящих локальных NUMA-узлов. Планировщик ESXi уже давно умеет эффективно работать с NUMA-узлами для vCPU ВМ, поэтому вполне логично ожидать здесь хороших результатов.

При настройке Kubernetes на Linux пользователь, с точки зрения выделения ресурсов CPU, оперирует логическими ядрами, которые дает технология hyperthreading, а при настройке виртуальных машин - физическими pCPU, то есть физическими ядрами процессора. Поэтому для чистоты эксперимента в тестах производительности VMware отключала hyperthreading.

Конфигурация каждого Pod выглядела так:

Всего было развернуто 10 Kubernetes pods, каждый из которых имел лимит по ресурсам 8 CPU и 42 ГБ RAM. Далее там был запущен один из Java-бенчмарков, целевым показателем которого была полоса пропускания (maximum throughput).

Результат оказался следующим:

Из графика видно, что кластер vSphere дал на 8% лучше результаты, чем нативный кластер Kubernetes на Linux.

Чтобы понять механику процесса, VMware замерила число попаданий в local DRAM (на уровне локального NUMA-домена) по сравнению с remote DRAM при условии промаха кэша в L3 процессора.

Для ESXi число таких попаданий составило 99,2%:

Это означает, что планировщик ESXi умеет размещать процессы ВМ таким образом, чтобы они могли получать более быстрый доступ к local DRAM.

Если же использовать привязку узлов к NUMA-доменам (Numactl-based pinning) в Linux, то результат работы нативных контейнеров выглядит лучше, чем таковой в виртуальных машинах:

Между тем, такая жесткая привязка узлов Kubernetes к NUMA-узлам оказывается непрактичной, когда требуется развертывать большое количество контейнеров, и возникает большая вероятность ошибок в конфигурациях.

Поэтому из коробки получается, что контейнеры Project Pacific работают лучше, чем на Linux-платформе в контексте использования ресурсов CPU.

Некоторое назад мы детально рассказывали о продукте VMware Project Pacific, который был анонсирован на конференции VMworld 2019 в Сан-Франциско. Это решение является частью семейства продуктов VMware Tanzu, разработанного специально для создания единой платформы для контейнеризованных приложений и виртуальных машин, которые сейчас очень часто совместно работают в инфраструктуре крупных предприятий.

Недавно компания VMware выпустила обновленную версию платформы VMware Integrated OpenStack 6.0. Напомним, что она предназначена для построения инфраструктуры OpenStack на базе платформы виртуализации VMware vSphere путем развертывания виртуального модуля vSphere OpenStack Virtual Appliance (VOVA). О прошлой версии Integrated OpenStack 5.0 мы писали вот тут.

Давайте посмотрим, что нового в Integrated OpenStack 6.0:

1. Панель управления с использованием Kubernetes.

Теперь в Integrated OpenStack 6.0 есть возможность использования консоли поверх кластера Kubernetes. Сервисы OpenStack теперь развертываются как узлы (Pods) Kubernetes, что позволяет их горизонтально масштабировать бесшовно и независимо друг от друга.

2. Kubernetes для множества клиентов.

Панель управления OpenStack за счет использования Essential PKS позволяет управлять инфраструктурой, где одновременно работают несколько независимых клиентов. Референсная имплементация этого решения средствами Heat доступна на сайте проекта на GitHub.

3. Улучшения Cinder.

• Возможность привязать том сразу к нескольким инстансам.
• Поддержка vSphere First Class Disk (FCD).

4. Улучшения IPv4/IPv6 и Dual Stack.

• Поддержка Dual stack IPv4/IPv6 для инстансов Nova и групп Neutron.
• Поддержка IPv6 с решением NSX-T 2.5 и плагином NSX-P Neutron.
• Режимы адресации IPv6: статический и SLAAC.
• Статическая маршрутизация IPv6 для маршрутизаторов Neutron.
• Поддержка IPv6 для FWaaS.

5. Улучшения Keystone.

• Поддержка федерации через токены JSON Web Tokens (JWT).

6. Улучшения масштабируемости.

Теперь VIO 6.0 позволяет горизонтально масштабировать контроллеры, также как и узлы (pods), которые работают в этих контроллерах. Компактное развертывание использует 1 контроллер, а HA-развертывание - 3 контроллера. Итого можно масштабировать развертывание до 10 контроллеров для высоконагруженных окружений.

7. Функции Essential PKS on OpenStack.

• Единая платформа для гибридных виртуальных машин и контейнеров.
• Интерфейс OpenStack и Kubernetes API для управления жизненным циклом ресурсов и кластера.
• Возможность развернуть Essential PKS с компонентом OpenStack Heat.
• Поддержка OpenStack multi-tenancy для безопасной изоляции контейнерных сред.
• Пакет VMware Certified Kubernetes, который находится в рамках референсной архитектуры с Essential PKS.

8. Улучшения инструментов управления.

• viocli переписан на Golang.
• Функции Bash completion и ярлыки CLI shortcuts добавлены в Life Cycle Manager.
• Интерфейс HTML5 WebUI:
  • Нет зависимости от плагина vCenter Web Plugin.
  • Поддержка нативных тем Clarity.

9. Функции ОС Photon 3.

• Панель управления VIO использует VMware Photon OS версии 3 - более легковесную и безопасную.
• Контейнеры также построены на базе образов Photon OS 3.

10. Улучшения API.

• Закрытый OMS API заменен на стандартный Kubernetes API.
• Многие части VIO могут управляться через команды kubectl в дополнение к viocli.
• Новый Cluster API, отвечающий за дополнительное управление ВМ.

11. Мониторинг.

• Функции анализа причин проблем в движке Smart Assurance.
• Операционный мониторинг с помощью дэшбордов vROps OpenStack Dashboards и Container monitoring.
• Интеграция с vRealize Log Insight.
• Видимость физических и виртуальных сетей OpenStack.
• Еще большая автоматизация поиска операционных проблем.

12. Прочие улучшения.

• Автоматизированные резервные копии VIO.
• Управление жизненным циклом компонентов OpenStack.
• Встроенный контроль версий конфигураций.
• Тема для визуального фреймворка Clarity.
• Поддержка OpenStack Helm для развертывания компонентов OpenStack.

Кроме того, VMware выпустила четыре интересных видео, посвященных новым возможностям Integrated OpenStack 6.0:

1. Развертывание VIO 6.0:

2. Апгрейд с версии 5.1 на 6.0:

3. Работа VMware Essential PKS поверх VMware Integrated OpenStack 6.0:

4. Интеграция VIO 6.0 с решениями vRealize Operations Manager и vRealize Log Insight:

Скачать VMware Integrated OpenStack 6.0 можно по этой ссылке. Более подробно о платформе написано в Release Notes.

Недавно компания VMware анонсировала новую версию платформы PKS 1.6 (Pivotal Container Service), которая предназначена для управления инфраструктурой контейнеров приложений на базе Kubernetes. Напомним, что это решение является в данный момент основным, пока еще не выпущена платформа Project Pacific, которая будет интегрировать классическую виртуальную инфраструктуру ВМ и средства исполнения и оркестрации контейнеров.

Напомним, что о прошлой версии VMware PKS 1.5 мы писали вот тут, а сегодня посмотрим, что нового появилось в PKS 1.6.

1. Финальная доступность Enterprise PKS Management Console.

Эта консоль позволяет выполнять множество задач администратора, включая управление пользователями и жизненным циклом продукта, обзор компонентов решения, настройку интеграций и многое другое. Вот, собственно, основные возможности консоли:

Развертывание

• Единый установщик в виде виртуального модуля OVA для всех необходимых компонентов.
• Установка на базе интерактивного мастера.
• Встроенные возможности валидации, предпроверок, автозаполнение полей и прочее.
• Поддержка настройки интеграции с различными решениями (VMware vRealize Operations, Wavefront, Syslog, vRealize Log Insight и Harbor).

Оперирование

• Управление жизненным циклом всех компонентов VMware Enterprise PKS (апгрейды и патчинг).
• Управление пользователями и настройка RBAC из графического интерфейса.
• Единая точка просмотра всех компонентов Kubernetes и нижележащей инфраструктуры.
• Управление изменениями конфигурации через UI и файлы YAML.

Вот как выглядит работа в консоли:

2. Интеграция с VMware Tanzu Mission Control.

На прошедшем VMworld 2019 компания VMware анонсировала Project Tanzu - единую операционную консоль для кластеров Kubernetes, которая позволит контролировать все аспекты жизненного цикла приложений. В том числе эта консоль позволит контролировать кластеры Kubernetes под управлением решения PKS в рамках нескольких облачных инфраструктур и команд разработки/DevOps.

Интеграция находится в режиме беты, но уже сейчас при создании кластеров в PKS, они автоматически добавляются в Tanzu Mission Control, и пользователи могут централизованно управлять как кластерами PKS, так и другими окружениями.

3. Поддержка Kubernetes 1.15 и Harbor 1.9.

VMware Enterprise PKS 1.6 поставляется с Kubernetes версии 1.15, который прошел тест Kubernetes conformance организации Cloud Native Computing Foundation. Kubernetes 1.15 имеет улучшения производительности, улучшения стабильности и использования кастомных ресурсов. Более подробно об этом рассказано здесь.

Также продукт теперь поддерживает релиз Harbor 1.9, где появились такие возможности, как tag retention, квоты проектов, нотификации через webhook, таргеты репликации для сервисов реестра для облачных провайдеров, политики CVE и интеграция с syslog.

4. Операционная гибкость.

VMware Enterprise PKS 1.6 дает пользователям Kubernetes использовать механизм custom resource definition (CRD) для получения статуса состояния сетевых объектов и плагина CNI в кластерах. Также он предоставляет возможность включить логирование для правила NSX-T Firewall Deny Rule, поэтому операторы будут знать когда пакеты будут сбрасываться или отклоняться. Также поддерживается несколько типов отправки событий - Telegraf, Splunk и Elasticsearch.

5. Программа телеметрии.

Эта программа позволяет текущим пользователям создавать отчеты на базе данных об использовании инфраструктуры VMware Enterprise PKS. Например, пользователи могут создавать отчеты об использовании ими ресурсов PKS во времени, коэффициенты успеха/неудач операций и их длительность, проводить аудит записей об образах контейнеров в кластерах Kubernetes и многое другое.

Более подробно о продукте VMware PKS 1.6 рассказано на этой странице, скачать его можно тут. Также о новых возможностях решения можно почитать в блоге Pivotal.

Project Pacific был одним из главных анонсов конференции VMworld в этом году, и VMware обращала на него особенное внимание. Это неудивительно - ведь VMware делает поддержку Kubernetes не для галочки. Тут дело в том, что многие пользователи планируют развертывание инфраструктуры контейнеризованных приложений на физической инфраструктуре - в этом случае не надо нести издержки на гипервизор и лицензии, а сами приложения в контейнерах работают быстро и имеют встроенные средства обеспечения доступности.

На сайте проекта VMware Labs появилась первая версия мультиплатформенного клиента для кластеров Kubernetes - KubeWise. Так же, как и kubectl, KubeWise требует только валидный файл kubeconfig (или несколько) для взаимодействия с одним или несколькими кластерами.

Данное средство представляет собой настольное приложение на базе HTML, JavaScript, CSS и Node.js, работающее на базе фреймворка Electron. Для запуска вам потребуется:

• Mac OS, Windows или Linux (на базе Debian).
• kubectl v1.14.0+, развернутый для управления кластерами Kubernetes v1.14.0+.

Основные возможности KubeWise:

• Поддержка нескольких файлов kubeconfig для разных кластеров.
• Взаимодействие в интерфейсе с самыми часто используемыми сущностями Kubernetes - узлами, пространствами имен и т.п.
• Терминал с возможностью установки переменной окружения KUBECONFIG.
• Генерация кастомных файлов kubeconfig для заданного пространства имен.
• Расширенные возможности безопасности (RBAC, пароли, сервисные аккаунты).

Надо понимать, что данная утилита - это произведение сотрудников VMware, которые никак не связаны с Linux Foundation и Cloud Native Computing Foundation (CNCF).

Скачать KubeWise можно по этой ссылке.

Расскажем еще немного о новостях с VMworld 2019, хотя наша серия получается несколько длинновата. Но обо всем образовательном и бесплатном грех не рассказать. Компания VMware объявила о доступности ресурса Kubernetes Academy, где ИТ-профессионалы, занимающиеся развертыванием и администрированием контейнеризованных приложений, могут узнать о том, как это делать в рамках интегрированной виртуальной инфраструктуры VMware vSphere и дополнительных средств управления единой средой виртуальных машин и контейнеров.

Напомним, что VMware делает очень много всего для интеграции с инфраструктурой контейнеров, например, недавно было рассказано о VMware Tanzu, единой операционной среде для кластеров Kubernetes, которая позволит контролировать все аспекты жизненного цикла приложений.

Бесплатные курсы Kubernetes Academy состоят из серии видеоуроков, которые длятся 5-7 минут и дают возможность усвоить какой-то законченный блок материала. Это позволяет администраторам лучше планировать свое время для прохождения курсов. Курсы разделены по уровням сложности от beginner до intermediate, скоро появится и уровень advanced.

Сейчас доступны следующие курсы:

• Containers 101 - дает базовые знания о контейнерах приложений.
• Kubernetes 101 - этот курс рассказывает об оркестрации контейнеров с помощью инструментов Kubernetes.
• Kubernetes in Depth - здесь уже раскрываются дополнительные моменты, например, архитектура платформы, типы объектов и т.п.
• Interacting with Kubernetes - здесь уже раскрываются практические аспекты работы с кластерами Kubernetes в рамках использования средств kubectl и ingress.
• How to Prepare for the CKA Exam - тут обсуждают практические моменты для подготовки к сдаче экзаменов на сертификаты CKA и CKAD. Здесь также полезно будет узнать об основных ресурсах и документах для подготовки, а также как формируются баллы при прохождении экзамена. Кроме того, в этом курсе вы научитесь работать с различными сложными операциями с Kubernetes в командной строке.

Добро пожаловать в VMware Kubernetes Academy.

Продолжаем рассказывать об анонсах продуктов и технологий, представленных на конференции VMworld 2019, так как есть о чем еще говорить. Одним из главных анонсов для сервис-провайдеров на мероприятии стала доступность платформы VMware Cloud Foundation for Cloud Providers.

Напомним, что vCloud Foundation (VCF) - это комплексное программное решение, которое включает в себя компоненты VMware vRealize Suite, VMware vSphere Integrated Containers, VMware Integrated OpenStack, VMware Horizon, NSX и другие, работающие в онпремизной, облачной или гибридной инфраструктуре предприятия, которые желательно развертывать все вместе, но можно какие-то и опустить. Важно, что в рамках этой архитектуры полностью поддерживается взаимодействие всех компонентов друг с другом, поэтому для VCF есть список продуктов и их версий (и это могут быть не самые последние версии), который и составляет архитектуру VCF. Напомним, что о версии VCF 3.0 мы писали вот тут.

Представленная архитектура VCF для сервис-провайдеров (VCPP) позиционируется как главный продукт для построения выделенных облачных инфраструктур для крупных клиентов (Dedicated Private Clouds). Решение комбинирует в себе возможности платформ VMware Software-Defined (vSphere и прочие продукты) и решения для миграции в виртуальную среду HCX. Облачная платформа VCF поставляется в трех изданиях, в зависимости от изданий входящих в него продуктов (подробнее об этом тут):

VMware Cloud Foundation соединяет в себе портфолио SDDC (vSphere, NSX, vSAN), а также средства управления SDDC Manager, что позволяет создать валидированную архитектуру на стороне сервис-провайдера и обеспечить управление жизненным циклом всех компонентов, чтобы облачные провайдеры могли запускать апгрейд всей инфраструктуры в один клик.

Кстати, решение VCF можно потестировать вживую в рамках лабораторной работы Hands-on Lab.

Онбординг пользователей в облачную среду провайдеров VCPP помогает производить решение VMware HCX, которое обеспечивает процесс миграции физических ресурсов предприятия в облачную среду на базе виртуальных машин в облаке:

Надо сказать, что решение VCF может работать поверх гибридной инфраструктуры предприятия - просто в облаке сервис-провайдера появляется еще один объединяющий элемент. Для традиционных хостинг-провайдеров, которые предоставляют услуги Shared Hosting / Virtual Private Servers, решение VCF для VCPP позволит получить крупных заказчиков, при этом оно изначально заточено под выделенную инфраструктуру со множеством клиентов.

Для старта с решением VMware Cloud Foundation for Cloud Providers партнерам потребуется пройти специальное обучение в течение 1 недели.

Вторым важным анонсом стал выпуск архитектуры vCloud Foundation версии 3.8.1. Надо сказать, что этот релиз сфокусирован на инфраструктуре контейнеризованных приложений под управлением Kubernetes. Такая инфраструктура управляется совершенно иначе, по сравнению с традиционной платформой для виртуальных машин, поэтому целью было объединить рабочие процессы PKS (Pivotal Container Service) и VCF.

В этом релизе у VCF 3.8.1 появились следующие новые возможности:

• Автоматизация развертывания решения PKS - теперь можно автоматически разместить нагрузку VMware Enterprise PKS в домене рабочей нагрузки NSX-T.

Средства интеграции VCF и PKS построены таким образом, что администраторам облака не требуется никаких специальных знаний в области Kubernetes, чтобы управлять интегрированной инфраструктурой контейнеров и виртуальных машин. Подробнее об этом рассказано тут.

• Поддержка двухфакторной аутентификации - теперь она доступна для API на базе паролей в консоли SDDC Manager.
• Улучшенные возможности Phone Home - предоставляет возможность провайдеру организовать функции phone home для данных в SDDC Manager одним кликом.
• Обновленные списки версий ПО (Bill of materials, BOM) - включают в себя vSphere 6.7 Update 3, vSAN 6.7 U3, новые версии Horizon, NSX-T и vRealize.

• Улучшения безопасности и исправления ошибок.

Более подробно о новых возможностях VCF можно узнать из Release Notes.

Многие из вас следят за новостями и событиями конференции VMworld 2019, которая проходит в эти дни в Сан-Франциско. Одним из первых и важных анонсов конференции стало объявление о скором выпуске проекта VMware Tanzu. Те из вас, кто следит в последнее время за новыми релизами от VMware, знают, что компания выпускает очень много чего интересного для инфраструктуры контейнеризованных приложений Kubernetes.

Например, совсем недавно мы писали о новой подсистеме хранения для K8s - Cloud Native Storage (CNS), утилите для контроля и мониторинга состояния кластеров VMware Octant, а также средстве для управления инфраструктурой контейнеров приложений VMware Enterprise PKS 1.5 (Pivotal Container Service).

На данный момент свежепоявившееся семейство Tanzu представлено двумя продуктами:

• Project Pacific — набор средств для преобразования среды VMware vSphere в нативную платформу для кластеров Kubernetes (будет доступно в следующих релизах vSphere).
• VMware Tanzu Mission Control - единая операционная консоль для кластеров Kubernetes, которая позволит контролировать все аспекты жизненного цикла приложений.

Project Pacific

Project Pacific сейчас находится в статусе технологического превью. Это средство представляет собой набор инструментов, который позволяет преобразовать платформу vSphere в средство нативного исполнения приложений в среде Kubernetes.

Данный продукт будет решать следующие задачи:

• Использование vSphere для нативной среды Kubernetes
• Предоставление средств управления, сфокусированных на приложениях
• Возможность взаимодействия команд разработки и администрирования/оперирования

С помощью Pacific разработчики продолжат управлять приложениями посредством Kubernetes, но сами приложения за счет этого будут "комфортно себя чувствовать" на платформе ESXi. Администраторы же смогут выполнять рутинные задачи через средства управления VMware vCenter.

Так как подразумевается, что Kubernetes будет нативно работать в среде vSphere, то будет поддерживаться концепция пространств имен в рамках инфраструктуры vSphere. Пространства имен в K8s - это коллекции объектов (контейнеры, виртуальные машины, диски и т.п.).

На уровне пространств имен в среде K8s можно выполнять стандартные для vSphere операции, такие как контроль и выделение ресурсов, vMotion, шифрование, HA и снапшоты.

VMware Tanzu Mission Control

Tanzu MC дает менеджерам и администраторам датацентров средства для создания и развертывания новых приложений на платформе Kubernetes, а также дает управлять кластерами K8s из единой точки. Таким образом, команды разработки могут запросить нужные ресурсы, когда им требуется, и получить их самым быстрым и оптимальным образом.

Платформа Tanzu Mission Control полностью построена на базе универсального API, который могут использовать разработчики для оперирования кластерами Kubernetes через Cluster API. Это касается всех рабочих процессов (например, создание или обновление кластера), а также аутентификации и прочих вспомогательных сервисов.

Сама консоль - это SaaS-решение, которое объединяет объекты разной природы в облачной консоли (например, это могут быть компоненты платформы vSphere, объекты из публичных облаков, средства OpenShift или просто самопальные инсталляции собственной архитектуры). Также вы можете привязать кластер VMware Essential PKS к консоли Tanzu Mission Control и использовать средства автоматизации обслуживания жизненного цикла кластеров, либо можно открыть и использовать расширенные средства сервисов PKS-кластера.

Консоль Mission Control использует:

• Cluster API для управления жизненным циклом (Lifecycle Management)
• Velero для резервного копирования и восстановления
• Sonobuoy для контроля конфигураций
• Contour для контроля компонентов ingress

Также все кластеры и их объекты покрываются гибко настраиваемыми политиками. Их можно применять к кластерам и группам кластеров, разграничивая таким образом зоны ответственности между разработчиками.

Ну и одно из самых удобных для оператора - это федерация данных кластеров K8s из разных источников в единой консоли:

Более подробно о проекте Tanzu можно почитать в пресс-релизе VMware.

Как вы знаете, недавно обновленная платформа виртуализации VMware vSphere 6.7 Update 3 стала доступной для загрузки. Одновременно с этим компания VMware сделала доступной для скачивания и развертывания систему отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3. В обоих этих решениях появилась встроенная поддержка технологии Cloud Native Storage (CNS), о которой мы сегодня расскажем.

Итак, Cloud Native Storage (CNS) - это функциональность VMware vSphere и платформы оркестрации Kubernetes (K8s), которая позволяет по запросу развертывать и обслуживать хранилища для виртуальных машин, содержащих внутри себя контейнеры. По-сути, это платформа для управления жизненным циклом хранения для контейнеризованных приложений.

При этом для такого управления сделано специальное представление в интерфейсе vCenter, которое вы видите на картинке выше.

Основная задача CNS - это обеспечивать развертывание, мониторинг и управление хранилищами для Cloud Native Applications (CNA), то есть современных приложений, исполняемых в контейнерах Docker под управлением Kubernetes (но, кстати, в будущем возможна поддержка и таких платформ, как Mesos и Docker Swarm).

Архитектура CNS реализована двумя компонентами:

• Интерфейс Container Storage Interface (CSI), представляющий собой плагин для K8s.
• Консоль управления CNS Control Plane на сервере vCenter, доступная через vSphere Client.

Через консоль управления CNS администратор может получить представление об имеющихся хранилищах в среде K8s (и видеть маппинги хранилищ на виртуальные диски VMDK), а также управлять ими в большом масштабе, что очень сложно при оперировании на уровне отдельных контейнеров, так как их могут быть сотни на одном хосте ESXi.

Кстати, про оперирование CNS есть интересное видео от VMware:

Надо понимать, что технология CNS появилась не впервые. Ранее подобные функции реализовывал механизм vSphere Storage for Kubernetes (он же vSphere Cloud Provider, VCP). Проект VCP появился как результат внутреннего хакатона VMware, когда требовалось быстро сделать драйвер для кластеров Kubernetes.

До этого приходилось вручную монтировать хранилища контейнеров на виртуальные диски VMDK, что было крайне неудобно, а при большом количестве контейнеров - практически нереально.

Сейчас архитектура VCP реализуется такими решениями Kubernetes as a Service (KaaS), как VMware PKS, RedHat OpenShift, Google Cloud Anthos и Rancher. Для этой архитектуры было возможно 2 режима развертывания - "in-tree" и "out-of-tree". В первом случае VCP был интегрирован в дистрибутив Kubernetes и развертывался одновременно с ним, а во втором - подразумевал последующую интеграцию после развертывания K8s.

Ввиду того, что обновлять VCP при первом варианте развертывания можно было только одновременно с K8s, вариант "in-tree" был исключен из конфигурации развертывания Kubernetes. VMware использовала эту ситуацию для того, чтобы полностью переписать код VCP (который, скорее всего, был не самым оптимальным еще с хакатона) и получить новую архитектуру - CNS.

Также кстати оказалась и покупка компании Heptio (об этом мы упоминали вот тут) - в итоге VMware интегрировала решение CNS прямо в платформу vSphere, без необходимости что-либо развертывать дополнительно. Мало того, архитектура CNS поддерживает любой оркестратор контейнеров, построенный на базе спецификации CSI.

Таким образом, CNS Control Plane на сервере vCenter брокеризует соединение с плагином (на данный момент только для K8s), который уже взаимодействует на уровне Kubernetes.

Частью решения CNS являются First Class Disks (FCDs), о которых мы рассказывали вот тут. Они были придуманы для того, чтобы управлять сервисами, заключенными в VMDK-диски, но не требующими виртуальных машин для своего постоянного существования. Это очень удобно для контейнеров, так как их можно динамически привязывать и отвязывать, не оставляя после себя "осиротевших" VMDK.

Кроме всего этого, CNS полностью подчиняется политикам Storage Policy-Based Management (SPBM), а это значит, что инфраструктура таких хранилищ отлично согласуется с пространством ярусного хранения VMware vSAN и концепцией K8s StorageClass. Также CNS, конечно же, работает и с классическими хранилищами VMFS и NFS, что позволяет использовать политики SPBM на базе тэгов.

Надо отметить, что технология CNS доступна для всех пользователей VMware vSphere, начиная с издания Standard, поэтому платить отдельно за нее не придется. Ну и в заключение обзорное видео о том, что такое и как работает Cloud Native Storage:

Скачать VMware vSphere 6.7 Update 3 с интегрированной технологией CNS можно по этой ссылке.

Недавно мы писали о выпуске новой версии продукта VMware Enterprise PKS 1.5 (Pivotal Container Service), который предназначен для управления инфраструктурой контейнеров приложений в кластерах Kubernetes. Наш читатель справедливо заметил, что у VMware есть еще один продукт, который позволяет работать с кластерами Kubernetes на платформе vSphere и получать больше информации об этой инфраструктуре - это VMware Octant.

Данное средство, доступное как Open Source проект, позволяет визуализовать кластер Kubernetes на дэшборде с точки зрения пространств имен и объектов, которые они содержат. Также там отображаются связи объектов и ресурсов. В отличие от дэшборда Kubernetes, Octant запускается локально на вашей рабочей станции, что позволяет избежать проблем, связанных с требованиями к безопасности.

Сам дэшборд выглядит следующим образом:

Проект Octant, в первую очередь, имел целью визуализовать ваши рабочие нагрузки в контейнерах кластеров Kubernetes. Это непростая задача, так как приложение может быть связано с сервисом или другим внутренним или внешним объектом - для этого Octant и визуализует взаимосвязи.

В рамках одного Deployment есть как минимум один объект ReplicaSet, который обслуживает как минимум один узел (pod). Octant умеет находить и показывать эти объекты. Узлы (pods) имеют ServiceAccount и могут быть ассоциированы с одним или несколькими сервисными объектами, которые могут принадлежать к одному или нескольким входным (Ingress) объектам. Octant также все это визуализует на дэшборде.

Все это позволяет администраторам корректно понимать устройство архитектуры контейнеризованных приложений, проводить отладку и решать проблемы, понимая в какой точке возможно их возникновение.

Для управления инфраструктурой Kubernetes существует множество различных утилит и средств (например, kubectl и kustomize), выполняющих схожие задачи - создание и управление объектами, предоставление информации о компонентах, работа с инструментами непрерывной интеграции (continuous integration) и утилитами для доставки приложений пользователям.

Octant предоставляет единую точку входа в дэшборд через бразуер, а архитектура плагинов позволяет расширять его функционал. Таким образом вы сможете интегрировать графики использования у структуру узлов (pods), добавить информацию по точкам входа и подсветить объекты, которые недавно были добавлены через механизм continuous delivery.

Octant - это не просто средство визуализации. Имея с помощью плагинов доступ к объектам кластера, он может управлять ими, даже если они не отображены на дэшбордах.

Одно из преимуществ Kubernetes - это кастомные определения ресурсов (custom resource definitions), которые расширяют стандартный API. Octant умеет визуализовывать эти определения в реальном времени и отображать кастомные колонки в свойствах. Octant использует встроенные схемы (embedded schemas), чтобы определить, правильно ли настроены кастомные ресурсы. Возможность видеть кастомные ресурсы дает администратору более полную картину того, что именно работает в кластерах.

Используя Octant plugin API, пользователи могут создавать представления для кастомных ресурсов точно так же, как и для встроенных объектов. Также можно и создавать визуальные редакторы для таких ресурсов.

Сам проект Octant доступен для скачивания с репозитория на GitHub. Также для разработчиков есть несколько полезных ресурсов:

• Distribution list
• Группа в Slack
• Твиттер @projectoctant

На этой неделе, перед предстоящей конференцией VMworld 2019, компания VMware сделала пару интересных анонсов, а именно: было объявлено о новой версии платформы VMware vSphere 6.7 Update 3 и обновлении платформы создания отказоустойчивых кластеров хранилищ VMware vSAN 6.7 Update 3.

Одновременно с этим было рассказано еще об одном обновлении решения для управления инфраструктурой контейнеров приложений VMware Enterprise PKS 1.5 (Pivotal Container Service). Новый релиз построен на базе ПО Kubernetes 1.14, предназначенного для развертывания и обслуживания контейнерных сред. Напомним, что ранее мы писали о возможностях PKS версии 1.3 для облака Microsoft Azure.

Давайте посмотрим, что нового появилось в PKS 1.5:

1. Поддержка Windows-сред для контейнеров.

Пока данная возможность доступна в бета-режиме. Таким образом, теперь на платформе PKS можно одновременно управлять работой контейнеров на базе Linux и Windows. Это позволит разработчикам использовать единый стек средств разработки и фреймворки, а администраторам единые утилиты для управления контейнерами.

Более подробно о бета-программе по работе с Windows-контейнерами на платформе Kubernetes под управлением PKS можно почитать вот тут.

2. Увеличение гибкости, безопасности и прозрачности для операций с кластерами.

Тут появилось 3 значимых нововведения:

• Появились новые функции по управлению кластерами Kubernetes - поддержка апгрейда отдельных кластеров, дополнительные параметры конфигурации балансировщика, а также поддержка аутентификации и авторизации на базе SAML.
• Поддержка приоритизации правил фаервола с помощью секций на уровне VMware NSX-T Distributed Firewall.
• Улучшилась обзорность кластеров - появились новые метрики, было добавлено больше информации о статусе и здоровье кластеров, разработчикам была предоставлена большая видимость в рамках пространств имен.

3. Графический интерфейс VMware Enterprise PKS Management Console.

Теперь у решения есть обновленная консоль (пока в бета-режиме), которая предоставляет интуитивно понятный интерфейс при управлении кластерами Kubernetes и их компонентами:

Предыдущая версия решения позволяла выполнять функции развертывания новых кластеров, теперь также доступны и функции апгрейда и накатывания патчей. Кроме того, был упрощен онбординг пользователей - теперь можно добавить их в специальном разделе, и они сразу же получают доступ в соответствии с ролью:

4. Прочие возможности.

Новый PKS 1.5 даст администраторам и некоторые другие новые возможности, такие как постоянный IP балансировщика (это позволит использовать человекопонятные URL), а также поддержку нового релиза Harbor 1.8, где есть новые функции автоматизации интеграций, безопасности, мониторинга и поддержки репликации между реестрами.

Также о новых возможностях платформы VMware PKS 1.5 написано в блоге Pivotal. Больше информации о самом продукте представлено на его официальной странице.

Компания VMware на днях объявила о скором выпуске новой версии решения для создания отказоустойчивых кластеров хранилищ - VMware vSAN 6.7 Update 3. Основная тема нововведений - поддержка облачных сред размещения виртуальных машин и работа с контейнеризованными приложениями.

Давайте посмотрим, что именно нового появилось в vSAN 6.7 Update 3:

1. Поддержка контейнеров приложений в облачных средах.

Контейнеры стали одной из главных моделей распространения приложений в облачной среде. Сама технология контейнеризации упрощает развертывание и обслуживание приложений, выделяя их в микросервисы, но все процессы вокруг них становятся сложнее (оркестрация, организация персистентных хранилищ, сетевая коммуникация).

vSAN 6.7 Update 3 имеет встроенные инструменты по организации постоянных хранилищ для контейнеров приложений, в том числе в облачных средах. Технология vSAN cloud native storage поддерживает все ключевые API-вызовы к хранилищам внутри кластеров Kubernetes через драйвер Container Storage Interface (CSI). Теперь разработчики смогут применять политики хранилищ SPBM при развертывании новых pods и монтировании томов с постоянными хранилищами, точно так же, как они делают это с виртуальными дисками машин.

Если же вы используете тома Virtual Volumes на платформе vSAN, то получите еще больше преимуществ:

• Развертывание хранилищ контейнеров через API параллельно с самими контейнерами.
• Возможность портирования приложений между частным и публичным облаком в рамках гибридной среды с поддержкой одного набора операций и инструментов.

2. Нативная гибридная среда инфраструктуры vSAN.

Сейчас гибридные среды становятся очень распространенной моделью доставки ИТ-сервисов, так как именно сочетание частного и публичного облаков дает самый большой эффект с точки зрения масштабирования и обеспечения показателей качества предоставления услуг. При этом администраторы хотят, чтобы приложения Docker также имели возможность бесшовно перемещаться между публичным и частным облаками со всеми их хранилищами.

Теперь vSAN предоставит интеграцию с сотнями облачных провайдеров, включая "большую четверку" Amazon, Microsoft, Google и IBM, которая позволит использовать тот же набор средств и утилит vSAN для хранилищ контейнеров в облаке, что и в частной инфраструктуре.

3. Унифицированные средства управления vSAN для контейнеров и виртуальных машин.

В одной виртуальной машине может быть много контейнеров приложений, вплоть до нескольких сотен. При возникновении проблем с хранилищем для одного из контейнеров становится очень и очень сложно понять ее причину. Теперь же vSAN предоставляет администраторам гранулярную видимость внутри ВМ до уровня контейнеров, что позволяет мониторить состояние отдельных хранилищ контейнеров на уровне томов для каждого из них.

В рамках единого пространства хранения можно анализировать использование емкости виртуальными машинами и контейнерами:

Все это позволит командам DevOps быстрее решать проблемы с хранилищами контейнеризованных приложений через стандартную консоль vSphere Client.

4. Интеллектуальные средства управления вводом-выводом.

Теперь vSAN еще более эффективно работает при обмене данными между буффером на чтение (write buffer) и пространством хранения (capacity tier). Особенно заметна эта оптимизация для последовательных операций записи (что очень актуально для процессов ресинхронизации и восстановления данных).

Адаптивная ресинхронизация теперь идет в рамках множества параллельных потоков, что увеличивает ее эффективность:

Также в vSAN 6.7 U3 появились дополнительные метрики, касающиеся использования CPU хост-серверов ESXi (особенно актуально для дедупликации, шифрования и компрессии). Кроме того, появилась новая команда vsantop, которая показывает эти и многие другие полезные метрики:

5. Прочие улучшения.

Тут собраны различные улучшения vSAN 6.7 Update 3:

• Механизмы управления емкостью были улучшены таким образом, чтобы запускать операцию ресинхронизации на базе доступной емкости. Если какая-то дисковая группа заполнена, то операции ресинхронизации ставятся на паузу, чтобы предотвратить повреждения хранилищ.
• Администратор может выбрать опцию автоматической или ручной ребалансировки данных в кластере. Така как каждая инфраструктура индивидуальна, доступна тонкая настройка механизма ребалансировки, в зависимости от потребностей администратора.
• Теперь применения политик SPBM идут пачками, что существенно ускоряет производительность при изменении структуры политик.
• Выполнение обслуживания или изменении конфигурации во время операций ресинхронизации может привести к неправильному завершению этого процесса, поэтому в SAN 6.7 U3 клиент vSphere Client лучше понимает, когда выполняется этот процесс, и не дает мешать ему.
• Механизм pre-check симуляции, который позволяет администратору понять, что произойдет в случае изменения конфигурации кластера или его обслуживания.
• При изменении конфигурации шифрования, компрессии или дедупликации требуется изменения формата дисков (Disk format changes, DFC). Если для этого процесса недостаточно ресурсов, то специальная проверка даст знать об этом еще до выполнения операции.
• vSAN теперь сам предлагает обновиться на новый мажорный релиз или накатить обновления.
• Ранее vSAN требовал, чтобы vCenter был той же версии или более новый, теперь же поддержка прошлых версий vCenter стала более гибкой.
• Теперь в vSAN 6.7 U3 проще включить vSAN Support Insight и взаимодействовать с поддержкой VMware.
• iSCSI LUN, презентованные из vSAN, теперь можно ресайзить без необходимости переводить том в оффлайн.
• SCSI-3 persistent reservations (SCSI-3 PR) теперь дают возможность нативной поддержки кластеров Windows Server Failover Clusters (WSFC), требующих общего диска.

Издание vSAN Enterprise Plus

Да, теперь VMware, как и для многих других продуктов, вводит издание Enterprise Plus для платформы vSAN. Эта лицензия будет включать в себя комбинацию продукта vSAN Enterprise и средства управления облачной средой vRealize Operations Advanced.

Все это даст следующую функциональность в связке двух решений:

• Географически растянутые кластеры с возможностями локальной защиты и синхронной репликацией.
• Средства нативного шифрования vSAN Encryption с поддержкой дедупликации и компрессии. В качестве провайдеров KMIP можно использовать такие решения, как CloudLink, Hytrust, SafeNet, Thales и Vormetric.
• Постоянная оптимизация производительности с возможностями предиктивной аналитики и проактивного планирования.
• Возможность интеллектуального решения проблем и продвинутый траблшутинг на базе аналитики метрик и логов с использованием средств обзора приложений на уровне всей инфраструктуры.

Более подробно о VMware vSAN 6.7 Update 3 мы узнаем на предстоящей конференции VMworld 2019, которая пройдет в конце августа в Сан-Франциско.

Недавно компания VMware объявила о выпуске обновленной версии решения VMware PKS 1.3 (Pivotal Container Service), предназначенного для управления гибридными средами Kubernetes в онпремизных и публичных облаках. Напомним, что об анонсах на VMworld Europe 2018, касающихся этого продукта, мы писали вот тут.

Тогда было объявлено о покупке компании Heptio, которую основали создатели Kubernetes. Она предоставляет набор продуктов и профессиональных сервисов для управления контейнерами Kubernetes в онпремизных, публичных и гибридных облачных средах. Помимо управления контейнерами, решения Heptio предоставляют такие сервисы, как оркестрация приложений, поддержка жизненного цикла (развертывание, хэлсчек) и обеспечение доступности (снапшоты, резервное копирование).

Теперь кое-что из этого было добавлено в VMware PKS, который стал поддерживать облачную среду Microsoft Azure. Кроме того, в продукте были улучшены функции контроля сетевого взаимодействия, безопасности и управления.

Давайте посмотрим, что нового появилось в PKS 1.3:

1. Поддержка публичного облака Microsoft Azure.

Ранее PKS поддерживал облачные среды VMware vSphere, Google Cloud Platform и Amazon EC2. Теперь он работает и в Azure:

PKS позволяет самостоятельно развернуть кластеры Kubernetes в облаке (или сразу нескольких облаках) и получить все инструменты для ежедневной эксплуатации решения.

2. Улучшения гибкости и средств настройки сетевой среды и инфраструктуры безопасности.

Теперь сетевые профили кластеров, которые появились еще в версии 1.2, получили еще больше параметров настройки.

• Поддержка нескольких Tier 0 маршрутизаторов для лучшей изоляции контейнерных сред. Один экземпляр VMware NSX-T может обслуживать несколько Tier 0 маршрутизаторов, что дает не только функции безопасности, но и возможности настройки отдельных диапазонов IP для каждого роутера и его клиентов.

• Маршрутизируемые IP-адреса, назначаемые группам узлов (Pods), что позволяет обеспечить их прозрачную коммуникацию с внешним миром (а также достучаться к ним из внешнего мира). Если необходимо, можно использовать и NAT-схему. Более подробно об этом написано здесь.
• Для групп Pods можно перекрыть глобальные настройки диапазона IP-адресов и размера подсети, задав их для отдельных групп. Это дает больше гибкости в плане использования глобального диапазона адресов.
• Поддержка больших (large) балансировщиков в дополнение к small и medium. Это увеличивает число предоставляемых сервисов, число групп на бэкенде в расчете на сервис, а также количество транзакций в секунду на сервис.
• Лучшая изоляция окружений за счет размещения нескольких VMware PKS Control Planes в рамках одного экземпляра NSX-T. Каждый управляющий объект VMware PKS control plane можно разместить на выделенном маршрутизаторе NSX-T Tier 0. Это позволяет лучше разделить окружения и, например, обновлять тестовую среду независимо от производственной, работая с двумя экземплярами PKS.

3. Улучшенные операции управления.

Здесь произошли следующие улучшения:

• Средства резервного копирования и восстановления кластеров Kubernetes. Теперь, помимо бэкапа средств управления Control Planes, появилась возможность бэкапа и stateless-нагрузок в контейнерах средствами тулсета BOSH Backup and Restore (BBR).
• Возможность проведения смоук-тестов. С помощью PKS 1.3 возможно создание специализированной тестовой среды, которую можно использовать для проверки апгрейда кластера, чтобы убедиться, что на производственной среде апгрейд пройдет нормально. После окончания теста тестовый кластер удаляется, после чего можно спокойно апгрейдить продакшен.

4. Поддержка Kubernetes 1.12 и другие возможности.

VMware PKS 1.3 поддерживает все стабильные физи релиза Kubernetes 1.12. Со стороны VMware они прошли тесты Cloud Native Computing Foundation (CNCF) Kubernetes conformance tests.

Также в рамках одной группы контейнеры могут иметь общие тома. Это может пригодиться, например, для общей базы данных нескольких приложений в разных контейнерах.

Кроме того, компоненты NSX-T и другие управляющие элементы, такие как VMware vCenter, можно разместить за HTTP proxy, требующим аутентификации. Ну и VMware PKS 1.3 включает решение Harbor 1.7 с новыми возможностями, такими как управление диаграммами Helm, улучшенная поддержка LDAP, репликация образов и миграции базы данных.

Более подробно о VMware PKS 1.3 написано по этой ссылке. Также больше подробностей об обновлении можно узнать тут, а вот тут можно пройти практическую лабораторную работу по решению PKS.

Некоторое время назад мы рассказывали об анонсах конференции VMworld Europe 2018, одним из которых была покупка компании Heptio, предоставляющая решения для управления контейнерами платформы Kubernetes в облаке. Ну а на днях на сайте проекта VMware Labs появился плагин к vSphere Client, который позволяет видеть кластеры и узлы Kubernetes, которые находятся под управлением Pivotal Container Service - vSphere PKS Plugin.

Возможности плагина PKS:

• Визуализация, настройка и управление кластерами Kubernetes, развернутыми и управлеяемыми с помощью PKS.
• Средства просмотра нижележащей инфраструктуры для контейнеров, включая виртуальные машины, сетевые ресурсы и объекты хранилищ, которые созданы в кластере Kubernetes, развернутом в окружении VMware vSphere.
• Единая точка просмотра компонентов кластера Kubernetes, включая узлы и сетевые объекты, такие как роутеры, логические коммутаторы и балансировщики.
• Простой интерфейс для доступа к кластеру через kubectl и дэшборд.

Для работы плагина вам понадобятся следующие компоненты:

• PKS v1.2.x
• NSX-T v2.3
• vSphere v6.7.x, v6.5 U1, U2

Загрузить vSphere PKS Plugin можно по этой ссылке (там же вы найдете и документацию).